FreeSpace检测是自动驾驶技术的重要组成部分，并且在轨迹计划中起着重要作用。在过去的十年中，已证明基于深度学习的自由空间检测方法可行。但是，这些努力集中在城市道路环境上，由于缺乏越野基准，很少有针对越野自由空间检测专门设计的深度学习方法。在本文中，我们介绍了ORFD数据集，据我们所知，该数据集是第一个越野自由空间检测数据集。数据集收集在不同的场景（林地，农田，草地和乡村），不同的天气条件（阳光，多雨，雾气和雪地）以及不同的光线条件（明亮的光线，日光，暮光，黑暗）中，完全包含12,198 LIDAR点云和RGB图像对与可穿越的区域，不可传输区域和无法达到的区域进行了详细注释。我们提出了一个名为Off-NET的新型网络，该网络将变压器体系结构统一以汇总本地和全球信息，以满足大型接收领域的自由空间检测任务的要求。我们还向动态融合激光雷达和RGB图像信息提出了交叉注意，以进行准确的越野自由空间检测。数据集和代码可公开可用athttps：//github.com/chaytonmin/off-net。

Recently, deep learning based 3D face reconstruction methods have shown promising results in both quality and efficiency. However, training deep neural networks typically requires a large volume of data, whereas face images with ground-truth 3D face shapes are scarce. In this paper, we propose a novel deep 3D face reconstruction approach that 1) leverages a robust, hybrid loss function for weakly-supervised learning which takes into account both low-level and perception-level information for supervision, and 2) performs multi-image face reconstruction by exploiting complementary information from different images for shape aggregation. Our method is fast, accurate, and robust to occlusion and large pose. We provide comprehensive experiments on three datasets, systematically comparing our method with fifteen recent methods and demonstrating its state-of-the-art performance. Code available at https://github.com/ Microsoft/Deep3DFaceReconstruction

Recent years have witnessed significant growth of face alignment. Though dense facial landmark is highly demanded in various scenarios, e.g., cosmetic medicine and facial beautification, most works only consider sparse face alignment. To address this problem, we present a framework that can enrich landmark density by existing sparse landmark datasets, e.g., 300W with 68 points and WFLW with 98 points. Firstly, we observe that the local patches along each semantic contour are highly similar in appearance. Then, we propose a weakly-supervised idea of learning the refinement ability on original sparse landmarks and adapting this ability to enriched dense landmarks. Meanwhile, several operators are devised and organized together to implement the idea. Finally, the trained model is applied as a plug-and-play module to the existing face alignment networks. To evaluate our method, we manually label the dense landmarks on 300W testset. Our method yields state-of-the-art accuracy not only in newly-constructed dense 300W testset but also in the original sparse 300W and WFLW testsets without additional cost.

Nerf-based Generative models have shown impressive capacity in generating high-quality images with consistent 3D geometry. Despite successful synthesis of fake identity images randomly sampled from latent space, adopting these models for generating face images of real subjects is still a challenging task due to its so-called inversion issue. In this paper, we propose a universal method to surgically fine-tune these NeRF-GAN models in order to achieve high-fidelity animation of real subjects only by a single image. Given the optimized latent code for an out-of-domain real image, we employ 2D loss functions on the rendered image to reduce the identity gap. Furthermore, our method leverages explicit and implicit 3D regularizations using the in-domain neighborhood samples around the optimized latent code to remove geometrical and visual artifacts. Our experiments confirm the effectiveness of our method in realistic, high-fidelity, and 3D consistent animation of real faces on multiple NeRF-GAN models across different datasets.

3D感知的生成模型已经证明了它们的出色性能，从而从单眼2D图像集合中生成3D神经辐射场（NERF），甚至对于拓扑视为对象类别。但是，这些方法仍然缺乏分别控制生成的辐射场中对象的形状和外观的能力。在本文中，我们提出了一个生成模型，用于合成具有分离形状和外观变化的拓扑变体对象的辐射场。我们的方法生成可变形的辐射字段，该字段构建了对象的密度字段之间的密度对应关系，并在共享模板字段中编码它们的外观。我们的分解是以无监督的方式实现的，而没有向先前的3D感知gan培训引入额外的标签。我们还开发了一种有效的图像反转方案，用于在真实的单眼图像中重建对象的辐射场并操纵其形状和外观。实验表明，我们的方法可以从非结构化的单眼图像中成功学习生成模型，并很好地解散具有较大拓扑方差的物体（例如椅子）的形状和外观。经过合成数据训练的模型可以忠实地在给定的单个图像中重建真实对象，并获得高质量的纹理和形状编辑结果。

3D漫画是对人脸的夸张的3D描述。本文的目的是对紧凑的参数空间中的3D漫画的变化进行建模，以便我们可以为处理3D漫画变形提供有用的数据驱动工具包。为了实现目标，我们提出了一个基于MLP的框架，用于构建可变形的表面模型，该模型采用潜在代码并产生3D表面。在框架中，警笛MLP模拟了在固定模板表面上采用3D位置并返回输入位置的3D位移向量的函数。我们通过学习采用潜在代码并产生MLP参数的超网络来创建3D表面的变化。一旦了解到，我们的可变形模型为3D漫画提供了一个不错的编辑空间，支持基于标签的语义编辑和基于尖的基于尖的变形，这两者都产生了高度夸张和自然的3D讽刺形状。我们还展示了可变形模型的其他应用，例如自动3D漫画创建。

最近的作品表明，经过非结构化单图像收集训练的3D感知gan可以生成新颖实例的多视图像。实现此目的的关键基础是3D辐射场发电机和卷渲染过程。但是，由于神经量渲染的高计算成本，现有方法无法生成高分辨率图像（例如，最高256x256），或者依靠2D CNN来进行图像空间上采样，从而危害了不同视图的3D一致性。本文提出了一种新颖的3D感知gan，可以产生高分辨率图像（最高1024x1024），同时保持严格的3D一致性，如音量渲染。我们的动机是直接在3D空间中实现超分辨率，以保持3D一致性。我们通过在最近的生成辐射歧管（GRAM）方法中定义的一组2D辐射歧管上应用2D卷积，避免了原本高昂的计算成本，并应用专门的损失函数以高分辨率进行有效的GAN训练。 FFHQ和AFHQV2数据集的实验表明，我们的方法可以产生高质量的3D一致性结果，从而大大胜过现有方法。

最近，基于神经辐射场（NERF）的进步，在3D人类渲染方面取得了迅速的进展，包括新的视图合成和姿势动画。但是，大多数现有方法集中在特定于人的培训上，他们的培训通常需要多视频视频。本文涉及一项新的挑战性任务 - 为在培训中看不见的人提供新颖的观点和新颖的姿势，仅使用多视图图像作为输入。对于此任务，我们提出了一种简单而有效的方法，以训练具有多视图像作为条件输入的可推广的NERF。关键成分是结合规范NERF和体积变形方案的专用表示。使用规范空间使我们的方法能够学习人类的共享特性，并轻松地推广到不同的人。音量变形用于将规范空间与输入和目标图像以及查询图像特征连接起来，以进行辐射和密度预测。我们利用拟合在输入图像上的参数3D人类模型来得出变形，与我们的规范NERF结合使用，它在实践中效果很好。具有新的观点合成和构成动画任务的真实和合成数据的实验共同证明了我们方法的功效。

3D感知图像生成建模旨在生成具有明确可控相机姿势的3D一致图像。最近的作品通过在非结构化的2D图像上培训神经辐射场（NERF）发电机，但仍然无法产生具有精细细节的高度现实图像。一个关键原因是体积表示学习的高记忆和计算成本大大限制了训练期间辐射集成的点样本的数量。不足的采样不仅限制了发电机的表现力，以处理细节细节，而且由于不稳定的蒙特卡罗采样引起的噪音，因此阻碍了有效的GaN训练。我们提出了一种新的方法，调节点采样和辐射场地学习在2D歧管上，体现为3D音量中的一组学习隐式表面。对于每个观看射线，我们计算射线表面交叉点并累积由网络产生的亮度。通过培训和渲染如此光辉的歧管，我们的发电机可以产生具有现实细节和强大的视觉3D一致性的高质量图像。

VirtualCube系统是一个尝试克服传统技术的一些限制的3D视频会议系统。关键的成分是VirtualCube，一种用RGBD摄像机录制的现实世界隔间的抽象表示，用于捕获用户的3D几何和纹理。我们设计VirtualCube，以便数据捕获的任务是标准化和显着简化的，并且所有内容都可以使用现成的硬件构建。我们将VirtualCubes用作虚拟会议环境的基本构建块，我们为每个VirtualCube用户提供一个周围的显示，显示远程参与者的寿命型视频。为了实现远程参与者的实时渲染，我们开发了V-Cube视图算法，它使用多视图立体声进行更精确的深度估计和Lumi-Net渲染，以便更好地渲染质量。 VirtualCube系统正确保留了参与者之间的相互眼睛凝视，使他们能够建立目光接触并意识到谁在视觉上关注它们。该系统还允许参与者与远程参与者具有侧面讨论，就像他们在同一个房间一样。最后，系统揭示了如何支持如何支持工作项的共享空间（例如，文档和应用程序），并跟踪参与者的视觉注意工作项目。